Vào lúc xảy ra cuộc Tấn công Trân Châu Cảng, Harusame được phân về Đội 2 của Hải đội Khu trục 4 trực thuộc Hạm đội 2 Hải quân Đế quốc Nhật Bản cùng với các tàu chị em Murasame, Samidare và Yudachi; và đã khởi hành từ Quân khu Bảo vệ Mako tham gia cuộc chiếm đóng Philippines ("Chiến dịch M"), hỗ trợ cho các cuộc đổ bộ lên Vigan và vịnh Lingayen.

Từ tháng 1 năm 1942, Harusame tham gia các hoạt động tại Đông Ấn thuộc Hà Lan, bao gồm việc chiếm đóng đảo Tarakan, Balikpapan và phía Đông Java. Trong Trận chiến biển Java, Harusame đối đầu cùng một nhóm tàu tuần dương và tàu khu trục Đồng Minh. Trong tháng 3 và tháng 4, Harusame đặt căn cứ tại vịnh Subic, nơi nó hỗ trợ cho cuộc chiếm đóng Cebu và phong tỏa vịnh Manila tại Philippines. Đến tháng 5, nó quay trở về Xưởng hải quân Yokosuka để sửa chữa.

Trong Trận Midway vào các ngày 4–6 tháng 6, Harusame nằm trong thành phần lực lượng đổ bộ lên Midway dưới quyền chỉ huy của Đô đốc Nobutake Kondō. Đến cuối tháng 7, nó được điều sang Mergui ngang qua Singapore để gia nhập lực lượng dự định tấn công Ấn Độ Dương, nhưng chiến dịch này bị hủy bỏ do cuộc đổ bộ tại Guadalcanal, và nó quay trở về Truk vào ngày 21 tháng 8. Trong Trận chiến Đông Solomons vào ngày 24 tháng 8, nó nằm trong thành phần hộ tống cho thiết giáp hạm Mutsu, và trong hầu hết tháng 9 nó hộ tống cho chiếc tàu chở thủy phi cơ Kunikawa Maru khảo sát quần đảo Solomon và quần đảo Santa Cruz tìm các vị trí đặt căn cứ thích hợp.

Từ tháng 10 đến giữa tháng 11, Harusame thực hiện chín chuyến vận chuyển tốc độ cao "Tốc hành Tokyo" và bắn phá đến Guadalcanal và Lae, cũng như tham chiến một lúc ngắn trong Trận Santa Cruz vào ngày 26 tháng 10 dưới sự chỉ huy của Đô đốc Takeo Kurita. Trong trận Hải chiến Guadalcanal thứ nhất trong đêm 12–13 tháng 11 năm 1942, Harusame báo cáo đã gây hư hại nặng cho một tàu tuần dương Đồng Minh bằng hỏa lực hải pháo của mình. Nó quay trở về Yokosuka để sửa chữa vào đầu tháng 12.

Vào tháng 1 năm 1943, Harusame quay trở về Truk hộ tống chiếc tàu chở binh lính Asama Maru, và tiếp tục đi đến Wewak thực hiện các nhiệm vụ vận chuyển đến Kavieng. Vào ngày 24 tháng 1, nó trúng phải ngư lôi phóng từ tàu ngầm USS Wahoo, và phải tự mắc cạn để tránh khỏi bị chìm. Nó được giải cứu và đưa trở về Truk để được sửa chữa khẩn cấp vào cuối tháng 2, và quay trở về Yokosuka vào cuối tháng 5. Tại Xưởng hải quân Yokosuka, một tháp pháo của nó được tháo dỡ thay thế bằng hai khẩu đội 25 mm Kiểu 96 phòng không ba nòng. Nó hoạt động trở lại vào cuối tháng 11 và đi đến Truk vào ngày 11 tháng 1 năm 1944.

Cho đến giữa tháng 2, Harusame hộ tống các đoàn tàu chở dầu từ Tarakan và Balikpapan đến Truk, và đã bị hư hại nhẹ do cuộc tấn công của máy bay Hải quân Mỹ tại Truk khiến hai người thiệt mạng. Nó được điều sang Palau vào ngày 19 tháng 2 để tuần tra tại khu vực này cho đến cuối tháng 3. Trong tháng 3 và tháng 4, nó thực hiện nhiệm vụ hộ tống giữa Davao và Lingga cùng Tawitawi. Vào ngày 8 tháng 6, trong khi làm nhiệm vụ triệt thoái lực lượng khỏi Biak, Harusame bị máy bay ném bom B-25 Mitchel của Không lực Mỹ tấn công và đánh chìm ở cách 30 dặm (48 km) về phía Tây Bắc Manokwari, New Guinea ở tọa độ 00°05′N 132°45′Đ / 0,083°N 132,75°Đ / -0.083; 132.750. Trong số thủy thủ đoàn của nó, 74 người đã thiệt mạng, bao gồm Tư lệnh hải đội, Đại tá Hải quân Masashichi Shirahama.

Harusame được rút khỏi danh sách Đăng bạ Hải quân vào ngày 10 tháng 8 năm 1944.